RATED：基于执行动态的可靠性感知 AI Agent 工具检索
🧭 Agent 工具检索 · 在线可靠性适应 ★ 深度解读
Texas Tech University
融合对比微调双塔检索与 discounted LinUCB 在线重排，将工具故障选择率从 86% 降至 3%
📌 工作参考价值（4 点）
- 解耦语义与可靠性：用冻结的语义检索器（DRAGON）产出 top-K 候选，再做轻量在线重排，避免每次工具故障都重训大模型；电商 Agent 中大量 API/下游服务频繁上下线，这种架构能快速响应。
- discounted LinUCB per tool：为每个工具维护独立线性模型，用折扣因子 γ=0.95 下权旧反馈，快速适应工具失效；协方差矩阵保持对角，更新和推理都是 O(d)，单步开销 <0.2ms，适合高并发在线服务。
- 冷启动先验：从工具目录元数据（名称-描述一致性、来源可信度、文档质量）自动计算静态可靠性分数，初始化 bandit bias，新工具上线无历史数据也能合理排序；电商工具库也可用类似信号（如 API 文档完整度、供应商信誉）做初始质量分。
- 融合权重默认值：语义 0.75、bandit 0.15、静态先验 0.10 在 20% 故障率下效果最佳，可直接作为业务调参起点。
SkillSandbox：动态场景合成验证技能可重用性
🧭 自我进化 Agent 技能验证与库管理 ★ 深度解读
Yonsei University
围绕每个技能动态合成新场景，对比有无技能的执行轨迹来验证其可重用性，构建更可靠的技能库
📌 工作参考价值（4 点）
- 把「技能库/策略库入库前验证」从历史任务重放改为动态合成验证场景：针对每个策略/技能的适用条件，用 LLM 生成保留核心约束但改变上下文的新场景，这样能暴露策略是否真正可迁移。对应电商推荐中，可以针对某条 query 改写规则或排序策略，合成不同类目、不同用户意图的模拟请求，验证其泛化性。
- 借鉴 VERIFIER 的三维度打分：executability（策略是否被正确触发并执行）、utility（是否提升成功/转化）、efficiency（是否增加额外步骤/延迟）。在推荐系统里，可以对同一场景跑 A/B（有/无该策略），比较转化率和平均步数，用折扣回报差来量化净收益，过滤掉「看似合理但引入回归」的规则。
- 关注 Recovery 和 Regression 指标：论文强调可靠验证必须同时看新策略解决了多少之前失败的任务，以及是否让原来能成功的任务变失败。在电商推荐或广告策略上线时，除了看整体提升，还要监控对已稳定场景的回归，避免新策略破坏现有效果。
- 验证不依赖更强外部模型：结构化场景构建和固定打分让执行器自身的模型即可完成可靠验证，业务中可用现有服务模型做策略筛选，无需额外引入更贵的模型。
测试时 AI4AI 中面向 Agent 脚手架设计的元技能学习
🧭 Agent 元技能与执行环境构建 ★ 深度解读
Apodex · University of Illinois Urbana-Champaign
提出通过 Builder 从 Target 执行反馈学习元技能，并物化为脚手架以提升固定权重 Agent 的表现
📌 工作参考价值（4 点）
- 将“教模型解题”拆成“教构建者设计支持”：用 (when, provide, use) 三字段沉淀执行反馈中的共性失败/负担，而非只蒸馏任务技能；在电商 Agent 工作流中可用于提炼“何时需要价格/库存校验、提供什么工具、谁负责最终判断”的运维原则。
- 支持要以“可执行脚手架”交付，不要直接把同一批 skill 塞给下游 Agent：让 Builder 把元技能编译成 memory、controller、verification、工具包装等；论文中 Builder 交付比直接给 Target 平均高 12.02 个百分点，说明把语义知识转成持久状态/控制流是收益来源。
- 同一模型可同时当 Builder 与 Target，不更新权重也能通过“学会给自己搭环境”自改进；适合线上 Agent 系统在 fixed model 下做轻量自举，尤其是反复出现的协调/提交流程。
- 技能访问默认全量 bank 给 Builder，通常优于 BM25 top-2（本文 5/6 设置全量更好）；当 bank 变大再做考虑互补性的检索，并结合开发集反馈做回滚/选择性保留，避免过拟合。
写、执行、精炼：通过执行反馈强化学习训练技能优化器
🧭 Agent 技能优化训练 · 执行反馈强化学习 ★ 深度解读
Harbin Institute of Technology, Shenzhen · The Chinese University of Hong Kong · MoE Key Laboratory of High Confidence Software Technologies · Harbin Institute of Technology, Harbin · Huawei Technologies Co., Ltd.
训练独立 Skill Optimizer，用执行反馈做 phase-wise GRPO，让 4B 模型优化 agent 技能超过通用大模型
📌 工作参考价值（4 点）
- 在电商导购、客服、广告投放等 Agent 系统中，把「策略 prompt / skill」当作可优化参数：冻结执行模型，单独训练一个小模型改写 skill，能获得比直接换更大 LLM 更稳定的收益；执行器冻结可以让优化信号只归因到 skill 本身。
- 如果业务有程序化校验指标（订单完成、API 参数合法、库存/价格约束、终态匹配），优先用 verifier 做 reward，不要用 LLM 打分；配合组内相对优势 GRPO，能避免任务难度差异淹没候选策略差异。
- 构建 replay buffer 时，只保留同一 skill 下「一次成功 + 一次失败」的 paired trajectories 作为下一轮优化样本；这种 mixed-outcome 状态能定位 skill 未约束的分支，比单条失败轨迹更有诊断价值。
- 生产环境建议迭代 1-2 轮即停止：实验显示 2 轮修订后收益饱和，第 3 轮可能倒退；skill 文档用 name/description/workflow/notes 四段式，agent 指令更稳定可维护。
Evoflux：为紧凑型代理推理时演化可执行工具工作流
🧭 Agent 工具使用 · 工作流演化 ★ 深度解读
Rensselaer Polytechnic Institute · IBM Research
在少量教师轨迹下，推理时进化搜索让小型模型工具可用性从~3%升至17-24%，优于等量微调。
📌 工作参考价值（4 点）
- 工具调用/API编排场景下，用进化搜索+执行反馈替代单次生成，可大幅提升小型模型在工具选择、参数填写的正确性，尤其适合低延迟、高隐私的部署需求。
- 结构化编辑操作（工具替换、参数修正、依赖调整）直接针对常见失败模式，可作为通用变异算子嵌入到现有Agent工作流优化中。
- 自适应强度控制（基于增长信号动态调节探索/利用比例）是一种轻量级控制策略，可借鉴到其他推理时搜索算法中，避免无谓的随机探索。
- 在标注数据极度有限时，不要急于微调，推理时执行驱动的修复可能比权重更新更稳定，能规避灾难性遗忘风险。